बिस्मिल्ला खाँ जब सिर्फ़ चार साल के थे तब छुपकर अपने नानाजी को शहनाई बजाते हुए सुनते थे। रियाज़ के बाद जब उनके नानाजी उठकर चले जाते थे तब अपनी नाना वाली शहनाई ढूँढते थे और उन्हीं की तरह शहनाई बजाने का प्रयास करते। बिस्मिल्ला खाँ के दोनों मामा सादिक हुसैन और अलीबख्य शहनाई वादक थे तब बिस्मिल्ला खाँ धड़ से एक पत्थर जमीन में मारा करते थे। इस प्रकार उन्होंने संगीत में दाद देना सीखा। उनसे ही उन्हें शहनाई बजाने की प्रेरणा मिली और शहनाई बजाने में रुचि लेने लगे। वे मंदिर उस रास्ते से जाते थे जिस रस्ते पर रसूलन और बतूलनबाई का घर पड़ता था ताकि वे उनका रियाज सुन सके। उनके द्वारा गाई गई टप्पे, ठुमरी, दादरा आदि को सुनकर उनके मन में संगीत के प्रति रुचि उत्पन्न हुई। बिस्मिल्ला खाँ जब कुलसुम को कलकलाते देशी घी की कढ़ाई में छन्न से उठने वाली आवाज में संगीत के सारे आरोह-अवरोह दिखाई देते थे। इन व्यक्तियों एवं घटनाओं ने बिस्मिल्ला खां की संगीत साधना को मजबूत करने में महत्वपूर्ण भूमिका निभाई|